El 13 de marzo, Sesame presentó su último modelo de síntesis de voz, CSM, generando gran interés en el sector. Según la información oficial, CSM emplea una arquitectura de aprendizaje multimodal basada en Transformer de extremo a extremo, capaz de comprender el contexto y generar voz natural y emotiva, con una calidad de sonido sorprendentemente realista. Este modelo admite la generación de voz en tiempo real, puede procesar entradas de texto y audio, y los usuarios pueden controlar parámetros como el tono, la entonación, el ritmo y las emociones, mostrando una gran flexibilidad. CSM se considera un avance significativo en la tecnología de voz con IA.

El UP de Bilibili “XiaoChongGe_” publicó un video de creación de fans de Genshin Impact, imitando a Faruzan, manteniendo la voz original, con más de 1.36 millones de reproducciones. El UP utilizó el modelo de síntesis de voz VITS, subiendo texto de voz para extraer características lingüísticas, conservando la voz única del personaje de Genshin Impact. La tecnología de clonación de voz con IA ya está generalizada, herramientas como HeyGen y AI Dubbing han reducido el umbral de uso. La mejora de la tecnología de IA ha atraído la atención de los creadores, la clave está en cómo crear obras originales en contenido y forma. El artículo explora los principios del modelo VITS.